A4-2 FAQ検索における言い換え生成を利用したデータ拡張手法

曹羽隆, 小川泰弘, 外山勝彦 (名大)

概要

概要

FAQ 検索タスクは，ユーザクエリに対して，デー

タセットの中からそのクエリに関連する QA ペア

（質問文と回答文のペア）を出力するタスクであ

る．クエリと QA ペアの関連性を捉えるために，

BERTなどの自然言語モデルを適用する手法が

提案されてきたが，ファインチューニング用の学習

データが足りないという問題点がある．本研究は，

QA ペアの質問文の言い換えを生成することによ

り，学習データを拡張する手法を提案する．また，

LocalgovFAQ データセットを用いて学習データ

を拡張し，評価実験を行った．

背景

FAQ検索

チャットボット

製品に関する質問

技術サポート

自治体ドメイン

先行研究

クエリと質問文の類似性

q-Q類似度検索

BM25ベースの文書検索

クエリと質問文の類似度

q-A関連度

回答文を使える手法

関連度を計算するためにBERT利用

TSUBAKI+BERT

アプローチと問題点

尼崎市

QAペア1786件

fine-tuning用としては足りてない

別の自治体FAQを使って20000件にしている

ユーザークエリ784

教師なし

seq2seq

目的

ドメインに依存しないfine-tuning

方法

言い換えによるfine-tuning用データ拡張

QAペアのQを言い換えることでペアが増えまくる

課題

日本語の言い換え生成モデルがない

英語の言い換え生成モデルを使う

事前学習済みT5

手法1

DeepLで英語、日本語に言い換え

問題あり：DeepLを使うと言い換えがもとに戻ってしまう！

手法2

Quora Question Pairs

DeepLで和訳

これをT5に食わせる

実験

1786文をx10

評価指標

F@5

MAP

MRR

結果

TSUBAKI+BERTはBERTのみよりいい

提案手法1, 2はベースラインを上回った

考察

手法2のほうが得られる言い換え文の数が多い

本当に言い換え文の数が多いほうがいいのか？

追加実験

10文拡張

得られた言い換えを10文すべて追加する

5文拡張

得られた言い換えを5文ランダムに選ぶ

結果

差がない！！

考察

手法1では機械翻訳を使っているため

先行研究との比較

先行研究は上回らなかった

先行研究は本物の質問文を使っているから